安全大数据平台的数据架构包括哪几部分

数据采集层

数据采集层利用大数据技术收集网络安全信息 。从业务类型来划分，接入的数据主要包括安防应用系统埋点日志类数据、流量类数据、安全资源类数据、安全知识情报类数据和安全告警类数据等。数据抽取工具和自定义程序实现对数据库、文本文件、流数据的接入。通过构建数据引接系统，支持多源异构数据接入，引入 Kafka 数据高速传输组件，能够实现流量削峰，建立高效数据传输通道，最大化数据吞吐率，实现数据高速采集传输，减少数据时延，满足对实时性要求更高的应用场景。

数据计算层

对于安全数据分析场景，数据处理需要实现流批一体化。从数据处理实时性来看，对一些时延性要求不高的业务场景，一般采用批处理方式，而对于实时处理要求比较高的业务场景，较多采用流式处理引擎，其处理过程为：数据同步工具从业务系统库实时增量同步数据到 Kafka；数据通过 Kafka传输，经过消费同步到安全数据平台的数据湖中；另外数据经过实时计算引擎 Flink 处理后，直接推送到前端数据应用中，进行数据可视化展示。

数据服务层

经过数据计算后，主要输出的数据服务能力包括数据资源目录服务、主数据服务、数据标准、数据共享服务、数据质量服务、数据血缘分析服务和元数据管理服务。每一类数据服务都由一组服务接口组成。

数据应用层

通过数据服务层打通各类安全数据与安全应用的通道，实现无缝衔接，以数据驱动安全业务发展。